Partitioning an image into superpixels based on the similarity of pixels with respect to features such as colour or spatial location can significantly reduce data complexity and improve subsequent image processing tasks. Initial algorithms for unsupervised superpixel generation solely relied on local cues without prioritizing significant edges over arbitrary ones. On the other hand, more recent methods based on unsupervised deep learning either fail to properly address the trade-off between superpixel edge adherence and compactness or lack control over the generated number of superpixels. By using random images with strong spatial correlation as input, \ie, blurred noise images, in a non-convolutional image decoder we can reduce the expected number of contrasts and enforce smooth, connected edges in the reconstructed image. We generate edge-sparse pixel embeddings by encoding additional spatial information into the piece-wise smooth activation maps from the decoder's last hidden layer and use a standard clustering algorithm to extract high quality superpixels. Our proposed method reaches state-of-the-art performance on the BSDS500, PASCAL-Context and a microscopy dataset.
translated by 谷歌翻译
Implicit fields have been very effective to represent and learn 3D shapes accurately. Signed distance fields and occupancy fields are the preferred representations, both with well-studied properties, despite their restriction to closed surfaces. Several other variations and training principles have been proposed with the goal to represent all classes of shapes. In this paper, we develop a novel and yet fundamental representation by considering the unit vector field defined on 3D space: at each point in $\mathbb{R}^3$ the vector points to the closest point on the surface. We theoretically demonstrate that this vector field can be easily transformed to surface density by applying the vector field divergence. Unlike other standard representations, it directly encodes an important physical property of the surface, which is the surface normal. We further show the advantages of our vector field representation, specifically in learning general (open, closed, or multi-layered) surfaces as well as piecewise planar surfaces. We compare our method on several datasets including ShapeNet where the proposed new neural implicit field shows superior accuracy in representing any type of shape, outperforming other standard methods. The code will be released at https://github.com/edomel/ImplicitVF
translated by 谷歌翻译
边界是人类和计算机视觉系统使用的主要视觉提示之一。边界检测的关键问题之一是标签表示,这通常会导致类不平衡,因此,较厚的边界需要稀疏的非差异后处理步骤。在本文中,我们将边界重新解释为1D表面,并制定一对一的向量变换功能,允许训练边界预测完全避免了类不平衡问题。具体而言,我们在任何点定义边界表示,因为单位向量指向最接近的边界表面。我们的问题表述可导致方向的估计以及边界的更丰富的上下文信息,如果需要,在训练时也可以使用零像素薄边界。我们的方法在训练损失中不使用超参数和推断时固定的稳定的高参数。我们提供有关向量变换表示的理论理由/讨论。我们使用标准体系结构评估了提出的损失方法,并显示了几个数据集上其他损失和表示的出色性能。代码可在https://github.com/edomel/boundaryvt上找到。
translated by 谷歌翻译
盲目解构是一种在各种田地中产生的不良问题,从显微镜到天文学。问题的不良性质需要足够的前沿到达理想的解决方案。最近,已经表明,深度学习架构可以用作在无监督盲卷积优化期间的图像生成,然而甚至在单个图像上也呈现性能波动。我们建议使用Wiener-Deconvolulation在优化期间通过从高斯开始使用辅助内核估计来指导图像发生器在优化期间。我们观察到与低频特征相比,通过延迟再现去卷积的高频伪影。另外,图像发生器从模糊图像的速度再现解码图像的低频特征。我们在约束的优化框架中嵌入计算过程,并表明该方法在多个数据集中产生更高的稳定性和性能。此外,我们提供代码。
translated by 谷歌翻译
监管基于深度学习的方法,产生医学图像分割的准确结果。但是,它们需要大量标记的数据集,并获得它们是一种艰苦的任务,需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示,并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中,对于学习良好的本地级别表示以及全局表示来说至关重要,以实现更好的准确性。然而,现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制,因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释,而不是基于当地地区的语义标签。在本文中,我们提出了局部对比损失,以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地,我们定义了建议的损失,以鼓励具有相同伪标签/标签的像素的类似表示,同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失,通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估,并获得高分割性能。
translated by 谷歌翻译
最近的作品表明,卷积神经网络(CNN)架构具有朝向较低频率的光谱偏压,这已经针对在之前(DIP)框架中的深度图像中的各种图像恢复任务而被利用。归纳偏置的益处网络施加在DIP框架中取决于架构。因此,研究人员研究了如何自动化搜索来确定最佳性能的模型。然而,常见的神经结构搜索(NAS)技术是资源和时间密集的。此外,最佳性能的模型是针对整个图像的整个数据集而不是为每个图像独立地确定,这将是非常昂贵的。在这项工作中,我们首先表明DIP框架中的最佳神经结构是依赖于图像的。然后利用这种洞察力,我们提出了一种特定于DIP框架的图像特定的NAS策略,其需要比典型的NAS方法大得多,有效地实现特定于图像的NA。对于给定的图像,噪声被馈送到大量未训练的CNN,并且它们的输出的功率谱密度(PSD)与使用各种度量的损坏图像进行比较。基于此,选择并培训了一个小型的图像特定架构,以重建损坏的图像。在这种队列中,选择重建最接近重建图像的平均值的模型作为最终模型。我们向拟议的战略证明(1)证明其在NAS数据集上的表现效果,该数据集包括来自特定搜索空间(2)的500多种模型,在特定的搜索空间(2)上进行了广泛的图像去噪,染色和超级分辨率任务。我们的实验表明,图像特定度量可以将搜索空间减少到小型模型队列,其中最佳模型优于电流NAS用于图像恢复的方法。
translated by 谷歌翻译
深度神经网络(DNN)对于对培训期间的样品大大减少的课程进行更多错误是臭名昭着的。这种类别不平衡在临床应用中普遍存在,并且对处理非常重要,因为样品较少的类通常对应于临界病例(例如,癌症),其中错误分类可能具有严重后果。不要错过这种情况,通过设定更高的阈值,需要以高真正的阳性率(TPRS)运行二进制分类器,但这是类别不平衡问题的非常高的假阳性率(FPRS)的成本。在课堂失衡下的现有方法通常不会考虑到这一点。我们认为,通过在高TPRS处于阳性的错误分类时强调减少FPRS,应提高预测准确性,即赋予阳性,即批判性,类样本与更高的成本相关。为此,我们将DNN的训练训练为二进制分类作为约束优化问题,并引入一种新的约束,可以通过在高TPR处优先考虑FPR减少来强制ROC曲线(AUC)下强制实施最大面积的新约束。我们使用增强拉格朗日方法(ALM)解决了由此产生的受限优化问题。超越二进制文件,我们还提出了两个可能的延长了多级分类问题的建议约束。我们使用内部医学成像数据集,CIFAR10和CIFAR100呈现基于图像的二元和多级分类应用的实验结果。我们的结果表明,该方法通过在关键类别的准确性上获得了大多数病例的拟议方法,同时降低了非关键类别样本的错误分类率。
translated by 谷歌翻译
A key requirement for the success of supervised deep learning is a large labeled dataset -a condition that is difficult to meet in medical image analysis. Selfsupervised learning (SSL) can help in this regard by providing a strategy to pre-train a neural network with unlabeled data, followed by fine-tuning for a downstream task with limited annotations. Contrastive learning, a particular variant of SSL, is a powerful technique for learning image-level representations. In this work, we propose strategies for extending the contrastive learning framework for segmentation of volumetric medical images in the semi-supervised setting with limited annotations, by leveraging domain-specific and problem-specific cues. Specifically, we propose (1) novel contrasting strategies that leverage structural similarity across volumetric medical images (domain-specific cue) and (2) a local version of the contrastive loss to learn distinctive representations of local regions that are useful for per-pixel segmentation (problem-specific cue). We carry out an extensive evaluation on three Magnetic Resonance Imaging (MRI) datasets. In the limited annotation setting, the proposed method yields substantial improvements compared to other self-supervision and semi-supervised learning techniques. When combined with a simple data augmentation technique, the proposed method reaches within 8% of benchmark performance using only two labeled MRI volumes for training, corresponding to only 4% (for ACDC) of the training data used to train the benchmark. The code is made public at https://github.com/krishnabits001/domain_specific_cl. 34th Conference on Neural Information Processing Systems (NeurIPS 2020),
translated by 谷歌翻译
深度学习(DL)在无线领域中找到了丰富的应用,以提高频谱意识。通常,DL模型要么是根据统计分布后随机初始初始初始初始初始初始初始初始初始初始化,要么在其他数据域(例如计算机视觉)(以转移学习的形式)上进行鉴定,而无需考虑无线信号的唯一特征。即使只有有限的带有标签的培训数据样本,自我监督的学习也能够从射频(RF)信号本身中学习有用的表示形式。我们通过专门制定一组转换以捕获无线信号特征来提出第一个自我监督的RF信号表示学习模型,并将其应用于自动调制识别(AMR)任务。我们表明,通过学习信号表示具有自我监督的学习,可以显着提高样本效率(实现一定准确性性能所需的标记样品数量)。这转化为大量时间和节省成本。此外,与最先进的DL方法相比,自我监管的学习可以提高模型的准确性,即使使用了一小部分训练数据样本,也可以保持高精度。
translated by 谷歌翻译